Evaluating an automated procedure of machine learning parameter tuning for software effort estimation

Software effort estimation requires accurate prediction models. Machine learning algorithms have been used to create more accurate estimation models. However, these algorithms are sensitive to factors such as the choice of hyper-parameters. To reduce this sensitivity, automated approaches for hyper-parameter tuning have been recently investigated. There is a need for further research on the effectiveness of such approaches in the context of software effort estimation. These evaluations could help understand which hyper-parameter settings can be adjusted to improve model accuracy, and in which specific contexts tuning can benefit model performance. The goal of this work is to develop an automated procedure for machine learning hyper-parameter tuning in the context of software effort estimation. The automated procedure builds and evaluates software effort estimation models to determine the most accurate evaluation schemes. The methodology followed in this work consists of first performing a systematic mapping study to characterize existing hyper-parameter tuning approaches in software effort estimation, developing the procedure to automate the evaluation of hyper-parameter tuning, and conducting controlled quasi experiments to evaluate the automated procedure. From the systematic literature mapping we discovered that effort estimation literature has favored the use of grid search. The results we obtained in our quasi experiments demonstrated that fast, less exhaustive tuners were viable in place of grid search. These results indicate that randomly evaluating 60 hyper-parameters can be as good as grid search, and that multiple state-of-the-art tuners were only more effective than this random search in 6% of the evaluated dataset-model combinations. We endorse random search, genetic algorithms, flash, differential evolution, and tabu and harmony search as effective tuners.Los algoritmos de aprendizaje automático han sido utilizados para crear modelos con mayor precisión para la estimación del esfuerzo del desarrollo de software. Sin embargo, estos algoritmos son sensibles a factores, incluyendo la selección de hiper parámetros. Para reducir esto, se han investigado recientemente algoritmos de ajuste automático de hiper parámetros. Es necesario evaluar la efectividad de estos algoritmos en el contexto de estimación de esfuerzo. Estas evaluaciones podrían ayudar a entender qué hiper parámetros se pueden ajustar para mejorar los modelos, y en qué contextos esto ayuda el rendimiento de los modelos. El objetivo de este trabajo es desarrollar un procedimiento automatizado para el ajuste de hiper parámetros para algoritmos de aprendizaje automático aplicados a la estimación de esfuerzo del desarrollo de software. La metodología seguida en este trabajo consta de realizar un estudio de mapeo sistemático para caracterizar los algoritmos de ajuste existentes, desarrollar el procedimiento automatizado, y conducir cuasi experimentos controlados para evaluar este procedimiento. Mediante el mapeo sistemático descubrimos que la literatura en estimación de esfuerzo ha favorecido el uso de la búsqueda en cuadrícula. Los resultados obtenidos en nuestros cuasi experimentos demostraron que algoritmos de estimación no-exhaustivos son viables para la estimación de esfuerzo. Estos resultados indican que evaluar aleatoriamente 60 hiper parámetros puede ser tan efectivo como la búsqueda en cuadrícula, y que muchos de los métodos usados en el estado del arte son solo más efectivos que esta búsqueda aleatoria en 6% de los escenarios. Recomendamos el uso de la búsqueda aleatoria, algoritmos genéticos y similares, y la búsqueda tabú y harmónica.Escuela de Ciencias de la Computación e InformáticaCentro de Investigaciones en Tecnologías de la Información y ComunicaciónUCR::Vicerrectoría de Investigación::Sistema de Estudios de Posgrado::Ingeniería::Maestría Académica en Computación e Informátic

A tertiary study on model-based testing areas, tools and challenges: Preliminary results

Context: Model-based testing (MBT) is one of the most studied approaches by secondary studies in the area of software testing. A tertiary study that aggregates knowledge from secondary studies on MBT can be useful to both academia and industry. Objective: The goal of this study is to identify and characterize secondary studies in model-based testing, in terms of the areas, tools and challenges they have investigated. Method: We conducted a tertiary study in MBT. Our systematic mapping of secondary studies included 12 literature surveys and 10 systematic reviews over the period 1996–2016.Results: We found that the two most studied areas of MBT are UML models and Transition-based notations. We also found that only 5 studies compared and classified MBT tools. The main challenges and limitations found were related to the need for more empirical evidence that supports the selection of MBT approaches and tools. Conclusions: Not many systematic reviews on MBT were found, consequently some areas still lack secondary studies: test execution aspects, language types, model dynamics, and some model paradigms and generation methods. We thus encourage the MBT community to perform further systematic reviews and mapping studies, following known protocols and reporting procedures, in order to increase the quality and quantity of empirical studies in MBT.Universidad de Costa Rica/[834-B7-749]/UCR/Costa RicaUCR::Vicerrectoría de Docencia::Ingeniería::Facultad de Ingeniería::Escuela de Ciencias de la Computación e InformáticaUCR::Vicerrectoría de Investigación::Unidades de Investigación::Ingeniería::Centro de Investigaciones en Tecnologías de Información y Comunicación (CITIC

TALLER: PRÁCTICAS DE LABORATORIO SUSTENTABLES; UN DIÁLOGO DESDE EL CUIDADO DEL AMBIENTE Y LA ENSEÑANZA DE LA FÍSICA. UNA PROPUESTA DESDE LAS MÁQUINAS DE GOLDBERG

Este taller pretende mostrar la importancia de las máquinas de Goldberg como herramienta de dialogo entre las tensiones en la enseñanza de la Física y el problema generalizado de desperdicio de elementos reciclables en las diversas escuelas de básica y media. Que se devele una solución dialógica enmarcada en la creación de prácticas de laboratorio de física, accesible para los estudiantes, entendiendo la accesibilidad a las cuestiones prácticas y por supuesto cognitivas, asociadas a los montajes de laboratorio. Esta propuesta surge de la preocupación generalizada de los estudiantes del seminario de enseñanza de la física, del departamento de Física, apropósito de vislumbrar nuevas formas para la enseñanza de la física en la escuela, que trascienda lo tradicional y se posibiliten como punto de encuentro de las necesidades particulares de la comunidad educativa, para este caso, encontramos dos particularidades de preocupación colectiva, la primera, mostrar la física como una ciencia al alcance de todos y segundo decantar las consecuencias de generar una lógica del cuidado del entorno.Esta apuesta surge en el marco de las discusiones del seminario de enseñanza de la física (licenciatura en física) a propósito del papel que tiene la física en la escuela frente a su enseñabilidad

Model-based testing areas, tools and challenges: A tertiary study

Context: Model-based testing is one of the most studied approaches by secondary studies in the area of software testing. Aggregating knowledge from secondary studies on model- based testing can be useful for both academia and industry. Objective: The goal of this study is to characterize secondary studies in model-based testing, in terms of the areas, tools and challenges they have investigated. Method: We conducted a tertiary study following the guidelines for systematic mapping studies. Our mapping included 22 secondary studies, of which 12 were literature surveys and 10 systematic reviews, over the period 1996–2016. Results: A hierarchy of model-based testing areas and subareas was built based on existing taxonomies as well as data that emerged from the secondary studies themselves. This hierarchy was then used to classify studies, tools, challenges and their tendencies in a unified classification scheme. We found that the two most studied areas are UML models and transition-based notations, both being modeling paradigms. Regarding tendencies of areas in time, we found two areas with constant activity through time, namely, test objectives and model specification. With respect to tools, we only found five studies that compared and classified model-based testing tools. These tools have been classified into common dimensions that mainly refer to the model type and phases of the model-based testing process they support. We reclassified all the tools into the hierarchy of model-based testing areas we proposed, and found that most tools were reported within the modeling paradigm area. With regard to tendencies of tools, we found that tools for testing the functional behavior of software have prevailed over time. Another finding was the shift from tools that support the generation of abstract tests to those that support the generation of executable tests. For analyzing challenges, we used six categories that emerged from the data (based on a grounded analysis): efficacy, availability, complexity, professional skills, investment, cost & effort, and evaluation & empirical evidence. We found that most challenges were related to availability. Besides, we too classified challenges according to our hierarchy of model-based testing areas, and found that most challenges fell in the model specification area. With respect to tendencies in challenges, we found they have moved from complexity of the approaches to the lack of approaches for specific software domains. Conclusions: Only a few systematic reviews on model-based testing could be found, therefore some areas still lack secondary studies, particularly, test execution aspects, language types, model dynamics, as well as some modeling paradigms and generation methods. We thus encourage the community to perform further systematic reviews and mapping studies, following known protocols and reporting procedures, in order to increase the quality and quantity of empirical studies in model-based testing

Assessing two graph-based algorithms in a model-based testing platform for Java applications

Model-based testing (MBT) is an approach for auto- matically generating test cases from a model of the system under test. Existing MBT tools support the automation of this process at varying degrees. One such tool is MBT4J, a research platform that extends ModelJUnit, offering a high level of automation. We ex- tended MBT4J with two graph-based algorithms: the Chinese Postman Problem (CPP) and Breadth-First Search (BFS). The purpose of this study is to evaluate the efficacy of these two new algorithms added to MBT4J by comparing them to previous algo- rithms implemented in the platform. A case study was conducted using two open-source Java applications from public repositories, and twenty-one different configurations. The CPP tester per- formed similarly to previous testers in terms of time and coverage, and in addition, it resulted in a greater percentage of failed test cases in one application. The BFS tester was able to generate a greater amount of test cases when using fewer resources. We thus recommend using these algorithms for generating test cases for systems with complex models.UCR::Vicerrectoría de Docencia::Ingeniería::Facultad de Ingeniería::Escuela de Ciencias de la Computación e InformáticaUCR::Vicerrectoría de Investigación::Unidades de Investigación::Ingeniería::Centro de Investigaciones en Tecnologías de Información y Comunicación (CITIC

Anshul5300/ScheduleBot: Initial Release

Initial Releas

Infrastructure and environment

La Facultad de Ingeniería de la Universidad Católica de Colombia, teniendo en cuenta su objetivo de formación de sus estudiantes, conforme al factor calidad y considerando las tendencias de vanguardia en el ámbito de innovación en ingeniería, desarrollo en la primera parte de esté congreso el tema de la infraestructura y medio ambiente, se trabajó la implementación del ensayo in situ de penetración estándar con torque (SPT-T) y su aplicación en la ingeniería, a su vez modelos de optimización de localización de centros de distribución y ruteo de vehículos, con consideraciones de impacto ambiental y huella de carbono, así mismo las modificaciones del cemento asfáltico utilizando residuos de botas militares, sumado a otros análisis de estudios de asfalto modificado, además, los niveles de radiación de banda en la telefonía móvil celular, otro tema relevante es el impacto del cambio climático en las afluencias de embalses, más aún, experiencias en auditorías de seguridad vial, otros rasgo que destacar es el diseño de un techo verde para captación de agua pluvial, la producción de gas metano a partir de residuos de materia orgánica, el diseño del stop automático para el límite del líquido en arcillas, la regionalización hidrológica de caudales, por último, los medios anuales en las áreas hidrográficas de la Amazonía y la Orinoquía colombianas. (Redacción propia).I. Infraestructura y medio ambiente. Implementación del ensayo in situ de penetración estándar con torque (SPT-T) y su aplicación en la ingeniería práctica. Implementación del ensayo in situ de penetración: modelos de optimización de localización de centros de distribución y ruteo de vehículos, con consideraciones de impacto ambiental y huella de carbono. Modificación del cemento asfáltico 80-100 con residuo de botas militares para elaborar mezclas densas en caliente (MDC-19). Niveles de radiación en la banda de 850 MHz, en la localidad de Usaquén, debida a la telefonía móvil celular. Impacto del cambio climático en las afluencias del embalse Río Frío. Estudio preliminar de simulación de asfalto modificado. Experiencias en auditorías de seguridad vial: el caso de Puerto Rico. Diseño de un prototipo de techo verde para captación de agua pluvial; caso de estudio: Usaquén, Colombia. Producción de gas metano a partir de residuos de materia orgánica en una finca ganadera del municipio de Aldana, Nariño. Diseño del stop automático para el ensayo del límite líquido en arcillas. Regionalización hidrológica de caudales máximos instantáneos anuales y caudales medios anuales en las áreas hidrográficas de la Amazonía y la Orinoquía colombianas

ENGIU: Encuentro Nacional de Grupos de Investigación de UNIMINUTO.

El desarrollo del prototipo para el sistema de detección de Mina Antipersona (MAP), inicia desde el semillero ADSSOF perteneciente al programa de Administración en Seguridad y Salud en el trabajo de la UNIMINUTO, se realiza a partir de un detector de metales que emite una señal audible, que el usuario puede interpretar como aviso de presencia de un objeto metálico, en este caso una MAP. La señal audible se interpreta como un dato, como ese dato no es perceptible a 5 metros de distancia, se implementa el transmisor de Frecuencia Modulada FM por la facilidad de modulación y la escogencia de frecuencia de transmisión de acuerdo con las normas y resolución del Ministerio de Comunicaciones; de manera que esta sea la plataforma base para enviar los datos obtenidos a una frecuencia establecida. La idea es que el ser humano no explore zonas peligrosas y buscar la forma de crear un sistema que permita eliminar ese riesgo, por otro lado, buscar la facilidad de uso de elementos ya disponibles en el mercado